The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images
视觉工具使用的幻觉：对“用图像思考”的因果审计
🧭 多模态LLM视觉工具使用的因果评估方法
Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University · Shanghai Innovation Institute
用因果干预审计多模态LLM视觉工具调用，发现总体增益微小且大部分轨迹中视觉证据无因果效应
📌 工作参考价值（4 点）
- Agent工具调用的因果有效性审计：在电商搜索或推荐Agent中，若引入类似截图、缩放等视觉操作，可直接套用论文的Visual Evidence Gain来量化每次工具调用是否对最终决策有真实因果贡献，避免高代价无效调用。
- 识别Agent策略的校准错误：论文发现的“Calling Without Looking”（调用了但观察被忽略）和“Looking Without Planning”（观察有用但调用计划混乱）两种失败模式，适用于诊断任何多步交互Agent（如搜索筛选、商品对比Agent）的工具使用幻觉。
- 轨迹级增益分解：将整体准确率增益分解到单条轨迹，定位增益仅来自少数“校准样本”，可帮助过滤掉无效工具使用，降低线上推理成本，提升Agent吞吐。
- 工程实现指引：通过随机扰动/替换观察结果的介入方法，无需额外标注即可在线下评估工具策略，为迭代优化提供诊断信号。